Ein erstes turmartiges Gebäude, das sog. Wachthaus, liegt unmittelbar neben dem heutigen Eingang. Es ist am östlichen Ende des Halsgrabens in den Bering eingebunden. Ein Kamin im Erdgeschoss belegt die Nutzung als Wohngebäude. Bemerkenswert ist, dass sich hier die Abdrücke eines älteren Fachwerkbaus erhalten haben, der später ummantelt wurde. An der Südwestecke, direkt an der Rheinseite, findet sich der alte Haupteingang der Burg. Hier sind noch die über den Halsgraben führenden Pfeiler zu sehen. Der Zugang wurde durch eine Wippbrücke (siehe Bilder) und einen zum Burginneren offenen, quadratischen Torturm (Seitenlänge 3,80 m) geschützt, in dessen Obergeschossen noch eine schmale Schießscharte sowie zwei Fensteröffnungen auszumachen sind (um 1356).
In der Mitte der rheinseitigen Mauer ist der nach den Schenken von Liebenstein benannte Schenkenturm so in den Abhang gestellt, dass zwei seiner Untergeschosse unterhalb des Hofniveaus liegen. Die oberen Geschosse sind nur in Resten erhalten (Fenster, ein Kamin, Ansätze einer Treppe). Zwischen dem Schenkenturm und dem Torturm kamen Grundmauern zu Tage, die zeigen, dass auch dieser Bereich einst bebaut war. 

Das damals wie heute repräsentativste Gebäude steht an der Nordecke des unteren Hofes, direkt an die rheinseitige Felskante gesetzt und somit weithin sichtbar. Es beherbergt heute das Restaurant.
Bei diesem annähernd quadratischen (9,20 m x 10 m), ca. 17 m hohen Turm aus dem fortgeschrittenen 14. oder dem frühen 15. Jahrhundert handelte es sich offenbar um den wichtigsten Wohnbau der Ganerbenburg, Sitz der Herren von Liebenstein um 1334.
Der aus schmucklosem Bruchstein errichtete Bau ist fast vollständig erhalten und wurde 1977 restauriert. Er weist insgesamt sieben Geschosse auf, von denen die unteren drei - nämlich zwei Keller und ein Souterrain mit Kamin, Wandschrank, Aborterker und zwei Fenstern - unter dem Hofniveau liegen. Der südliche Anbau mit Schrägdach ist jünger (1614).
Durch ein spitzbogiges Portal gelangt man in das Erdgeschoss, die heutigen Gaststättenräume. Das saalartige erste Obergeschoss war als repräsentativer Raum ausgestattet. An der Nordseite, Richtung Sterrenberg, befindet sich ein vorgelagerter, etwas niedrigerer Bering mit einer Geschützbatterie.
Diese sichtbar gegeneinander gerichteten Befestigungswerke („Streitmauer“ Sterrenberg) dürften die im Volksmund übliche Bezeichnung als „Feindliche Brüder“ mit begründet haben.